Pada tahun 644, Umar dibunuh oleh Abu Lu'luah Bin Muljam yang berasal dari Parsi sebagai tindak balas dari Penaklukan Islam ke atas Parsi.[6] Pembunuhan tersebut dirancang beberapa bulan sebelumnya. Pada Oktober 644, Umar menunaikan Haji di Makkah, waktu pembunuh tersebut menyatakan kematian Umar pada tahun tersebut, dan menggunakan jemaah yang ramai sebagai penghadang kepada para konspirasi ini untuk bersebunyi. Diriwayatkan apabila Umar berdiri di Bukit Arafah, beliau mendengar suara berkata:

"Wahai Khalifah, tidak akan lagi kamu berdiri di atas Bukit Arafah".

Sahabat Umar, Jubayr bin Mut'im dilaporkan berkata:

Kami lihat seorang lelaki berdiri di atas bukit dan berkata 'Sesungguhnya ini adalah Haji terakhir buat Umar. Dia tidak akan datang ke sini lagi.'

Ketika salah satu ibadah Haji, iaitu melontar Jamrah, seseorang membaling batu kepada Umar sehingga melukakan kepala beliau, dan satu suara didengari mengatakan yang Umar tidak akan menunaikan Haji lagi.

Seorang hamba berbangsa Parsi, Abu Lu'luah, membawa rungutan kepada Umar tentang cukai tinggi yang dikenakannya oleh tuannya Mughirah. Umar menulis kepada Mughirah dan bertanya tentang cukai tersebut; jawapan Mughirah memuaskan hati, tetapi Umar menegaskan bahawa cukai yang dikenakan daripada Abu Lu'lu'ah adalah berpatutan, disebabkan pendapatan hariannya. Umar kemudian dilaporkan meminta kepada Abu Lu'luah: "Saya mendegar yang kamu membuat kincir angin; buatkan untuk saya satu." Dalam keadaan merengus, Abu Lu'luah menjawab, "Sesungguhnya aku akan buatkan kincir untuk kamu, biar satu dunia ingat akannya".[7]

Abu Lu'luah ditugaskan dengan misi membunuh Umar. Menurut rancangan, sebelum solat Subuh berlangsung, Abu Lu'luah akan memasuki Masjid al-Nabawi, masjid utama di Madinah yang solat tersebut akan diketuai atau diimam oleh Umar dan dia akan menyerang Umar semasa sedang bersolat, kemudian lari atau bersembunyi di kalangan jemaah masjid.

Pada 31 Oktober 644, Abu Lu'luah menyerang Umar ketika beliau sedang mengimamkan sembahyang Subuh, menikamnya dengan pisau yang bermata dua sebanyak tiga kali di belakangnya, yang menyebabkan maut. Umar dibiarkan berdarah ketika cuba melarikan diri, tetapi orang disekeliling dengan segera menangkapnya; dalam usahanya untuk melarikan diri, dikhabarkan dia mencederakan dua belas orang lain, enam atau sembilan orang daripadanya meninggal dunia, sebelum dia mengelar dirinya sendiri untuk membunuh diri.

Umar wafat pada tiga hari kemudian pada hari Rabu, 3 November 644 (26 ZūlḤijjah 23H) disebabkan luka yang sangat teruk.[8][9]Umar dilaporkan meninggalkan wasiat dengan menyuruh anaknya berjumpa dengan Saidatina Aisyah untuk meminta izinnya(Aisyah)untuk dimakamkan bersebelahan Rasulullah SAW.

Saidina Uthman bin Affan dilantik menjadi khalifah oleh suatu majlis syura selepas kewafatan Umar.

Rupa fizikal

Umar mempunyai badan yang kuat, tegap dan bagus dalam bergusti. Beliau dikatakan pernah menyertai pertandingan gusti ketika berlangsungnya pasar tahunan di Ukaz.[10] Dari sumber perdana menyatakan yang Umar mempunyai penampilan yang bertenaga, badan yang sangat tinggi dan tegap, di pasar beliau menonol dari kalangan orang ramai seperti menara. Bahagian depan kepala beliau botak, sentiasa A'sara Yusran (bekerja dengan dua tangannya),[11] kedua-dua mata beliau hitam, dengan kulit kekuningan, walau bagaimanapun, ibn Sa'ad di dalam bukunya menyatakan yang beliau tidak tahu yang Umar mempunyai kulit kuning kecuali jika seseorang mengambil keadaan ketika zaman beliau hanya memakan minyak (akibat kemarau panjang).[12] Ada juga sumber menyatakan beliau mempunyai kulit putih kemerahan. Gigi beliau adalah ashnabul asnan (sangat putih berkilat). Belau sentiasa mewarnakan jambangnya dan menjaga rambutnya degan sejenis tumbuhan.[12][13]

Sejarahwan Islam Ibn Saad dan Al-Hakim mencatatkan perihal Umar yang menyatakan bahawa Abu Miriam Zir, asal dari Kufah menerangkan tentang Umar sebagai:

Aku bersama orang Madinah pada suatu hari raya, dan aku lihat Umar berjalan berkaki ayam. Beliau kelihatan mendahului usianya, botak, warna kuning keperangan - orang bertangan kidal, tinggi dan menonjol ketinggiannya dari yang lain.[10]

Anak sulung Umar, Abdullah, menerangkan tentang penampilan fizikal bapanya seperti berikut:

Beliau seorang lelaki yang berkulit cerah, ternampak seri kemerah-merahan, tinggi, botak dan beruban.

Sejarahwan Salima bin al-Akwa'a pula berkata tentang beliau:

Umar sangat bijak, beliau mampu menggunakan kedua-dua tangannya dengan baik.

Ibn Asakir mencatatkan dari sanad Abu Raja al-U'taridi yang:

Umar seorang lelaki yang tinggi,botak, sangat kemerah-merahan dengan sedikit rambut di pipi, misainya besar dan hujungnya kemerahan.[10]